Glueクローラを利用したAthenaによる分析環境の構築手順

AWS Glue Crawlerで作成したデータカタログにAthenaからクエリを実行してみました

#AWS Glue

#AWS

坂巻一義

2020.08.31

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

Athenaで分析を行うにはデータカタログ（データ構造、パーティションなどのメタデータ）が必要になります。このデータカタログはAWS Glue内で保持され、AthenaからのDDL実行、AWS Glue Crawler（以下、クローラ）などで作成することが可能です。

今回はデータソースをS3とし、クローラにてデータカタログを作成し、Athenaからクエリを実行する手順を紹介します。クローラの利用と直接関係ありませんが、Athenaからクエリを実行することで、データ分析や、Athenaのユースケース ^*1にあるような低頻度のETL処理といったことが可能になります。

構成

分析データはCSVファイルとし、ここでは手動でアップロードを行いました。また、Glue（クローラ）からS3への接続は、VPCエンドポイントを利用する構成としています。 ^*2

前提

ここでは以下リソースが構築済みであることを前提とします。

S3 VPCエンドポイントなどVPCリソース
分析データ格納済みのS3バケット
- データはGlueのチュートリアルにあるフライトデータ ^*3を利用
AWS Glue用のセキュリティグループ
- JDBC データソースに接続するための VPC の設定
AWS Glue用のIAMロール
- AWS Glue 用の IAM ロールを作成する

構築／実行

接続の追加

GlueがS3エンドポイントなどVPCリソースにアクセスするために、ENIが必要です ^*4今回の構成における「接続」はVPCの情報を指定します。Glueのコンソールより「接続」をクリックします。

「接続名」は任意の名称で、「接続タイプ」はNetworkを指定します。

利用するVPC、S3エンドポイントがルーティングされたサブネットを指定します。Glue（ENI）が利用するセキュリティググループを指定します。

設定が指定どおりであることを確認し、接続の追加は完了です。

接続が追加されたことを確認し「接続のテスト」を実施します。

ここでは、データソースがS3のため、該当バケットへのアクセス権限を有したIAMロール、分析データが格納されたS3パスを指定します。

接続テストが開始され、しばらくすると結果が表示されますので、正常に接続できたことを確認します。

接続に失敗した場合は以下を参考に、IAMロールなど、前提に記載したリソースを見直してください。

クローラ作成

データソースをクロールするクローラを作成していきます。Glueのコンソールより「クローラ」をクリックします。

任意のクローラ名を指定します。

ソースタイプにData storesを選択します。

データストアはS3、先程追加した接続、クロールするS3バケットを指定します。

別のデータソースは今回は不要です。

クローラが利用するIAMロールを指定します。

ここでは、クローラは手動実行を想定しているため、オンデマンドで実行を選択します。なお、クローラはスケジュールなどトリガーから実行することも可能です。

Glueのジョブどこから実行しよう..トリガー？ワークフロー？Step Functions？

データカタログが保存されるGlueデータベースを指定します。ここではデータベースの追加より新規データベースを作成しました。

設定が指定どおりであることを確認し、クローラの作成は完了です。

クローラおよび、データベースが作成されました。

クローラ実行

クローラを実行し、データソースからテーブル（データカタログ）を作成します。「クローラの実行」をクリックします。

しばらくすると、クロールが完了し作成されたテーブルなどの情報が表示されます。

指定したデータベース内にテーブルが作成されました。

テーブルの詳細を表示すると、作成されたテーブルのスキーマなどが確認できます。なお、こちらのスキーマは手動で変更することも可能です。

AWS Glue コンソールでのテーブルの使用

Athenaからクエリ実行

データカタログは、スキーマ等の情報が保存されているだけで、データ自体は保存されていません。データはクエリを実行してを読み取る必要がありますので、テーブル（データカタログ）に対してクエリを実行していきます。

Athenaのコンソールより、作成したデータベースを選択します。

データベースを指定するとデータベース内のテーブルがリストされ、スキーマを確認することが可能です。

分析要件に沿ってクエリを実行します。ここではフライトデータより目的地の名称と、その件数を取得しました。

SELECT
  dest_state_nm,
  COUNT( dest_state_nm ) AS count
FROM kiss_shot_acerola_source_bucket_xxxxx
GROUP BY dest_state_nm
ORDER BY count DESC

クエリの実行については、以上になります。

冒頭でも少しふれましたが、Athenaのクエリ結果はS3にファイルとして保存されるので、実行結果を利用して、Redshiftへのロードなど簡易なETLも可能になります。

Amazon AthenaでETLした結果をRedshiftにロードしてみる

余談になりますが、VPCエンドポイントを介した接続については、S3アクセスログから確認することができるます。確認される場合は以下が参考になります。なお、S3アクセスログはベストエフォート型の配信となりますので出力まで時間がかかることがありますのでご留意ください。

さいごに

クローラにてデータカタログを作成し、Athenaから分析（クエリ）を実施する手順を紹介しました。今回はクローラにてデータカタログを作成しましたが、AthenaからDDLを実行することでデータカタログを作成することもできます。簡易な要件であればGlueを利用せずとも、ETLは実現できると思いますので、データ量や要件に応じアーキテクチャを検討いただければと思います。